Reward Structure Shapes the Interaction Between Episodic Exploration and Neural Memory in Reinforcement Learning
奖励结构塑造强化学习中情节探索与神经记忆的交互
🧭 探索-记忆交互的奖励结构依赖性分析
UC San Diego
揭示探索奖励与记忆架构的互补关系取决于奖励结构而非密度
📌 工作参考价值（3 点）
- 该工作为 RL 基础研究，业务可借鉴点有限，但其关于探索与记忆互补性的结论可启发电商搜索 Agent 中长序列决策：探索奖励应当与记忆容量协同设计，而非简单叠加。
- 奖励信号的结构（监督何种记忆内容）会放大或抹平不同网络架构差异，类似推荐系统中，辅助目标的设计会改变序列模型对用户行为的记忆重点。
- 提出的“结构稀疏”与“潜在稀疏”概念可迁移至长程用户兴趣探索场景：若短期行为奖励无法有效指引长期兴趣发现，需要专门的探索机制来弥补记忆负担。